Essenciais para muitos setores, desde imagens geradas por computador em Hollywood até design de produtos, as ferramentas de modelagem 3D frequentemente utilizam textos ou imagens para ditar diferentes aspectos da aparência visual, como cor e forma. Por mais que isso faça sentido como um primeiro ponto de contato, esses sistemas ainda são limitados em seu realismo devido à negligência de algo central à experiência humana: o tato.

Fundamentais para a singularidade dos objetos físicos são suas propriedades táteis, como rugosidade, relevo ou a sensação de materiais como madeira ou pedra. Os métodos de modelagem existentes frequentemente exigem conhecimentos avançados de design auxiliado por computador e raramente oferecem feedback tátil, que pode ser crucial para a forma como percebemos e interagimos com o mundo físico.

Com isso em mente, pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT criaram um novo sistema para estilizar modelos 3D usando instruções de imagem, replicando efetivamente a aparência visual e as propriedades táteis.

A ferramenta "TactStyle" da equipe do CSAIL permite que os criadores estilizem modelos 3D com base em imagens, incorporando também as propriedades táteis esperadas das texturas. O TactStyle separa a estilização visual da geométrica, permitindo a replicação de propriedades visuais e táteis a partir de uma única entrada de imagem.

O doutorando Faraz Faruqi, autor principal de um novo artigo sobre o projeto, afirma que o TactStyle pode ter aplicações abrangentes, abrangendo desde decoração e acessórios pessoais até ferramentas de aprendizagem tátil. O TactStyle permite que os usuários baixem um design base — como um suporte para fones de ouvido do Thingiverse — e o personalizem com os estilos e texturas desejados. Na educação, os alunos podem explorar diversas texturas do mundo todo sem sair da sala de aula, enquanto no design de produtos, a prototipagem rápida se torna mais fácil, pois os designers imprimem rapidamente múltiplas iterações para refinar as qualidades táteis.

“Você poderia imaginar o uso desse tipo de sistema para objetos comuns, como suportes de telefone e capas para fones de ouvido, para permitir texturas mais complexas e aprimorar o feedback tátil de diversas maneiras”, diz Faruqi, coautor do artigo em conjunto com a professora associada do MIT Stefanie Mueller, líder do Grupo de Engenharia de Interação Humano-Computador (HCI) do CSAIL. “Você pode criar ferramentas educacionais táteis para demonstrar uma variedade de conceitos diferentes em áreas como biologia, geometria e topografia.”

Os métodos tradicionais para replicar texturas envolvem o uso de sensores táteis especializados — como o GelSight, desenvolvido no MIT — que tocam fisicamente um objeto para capturar sua microgeometria de superfície como um "campo de altura". Mas isso requer um objeto físico ou sua superfície registrada para replicação. O TactStyle permite que os usuários repliquem a microgeometria de superfície utilizando IA generativa para gerar um campo de altura diretamente a partir de uma imagem da textura.

Além disso, para plataformas como o repositório de impressão 3D Thingiverse, é difícil pegar designs individuais e personalizá-los. De fato, se um usuário não tiver conhecimento técnico suficiente, alterar um design manualmente corre o risco de "quebrá-lo", impossibilitando sua impressão. Todos esses fatores levaram Faruqi a pensar em desenvolver uma ferramenta que permitisse a personalização de modelos para download em alto nível, mas que também preservasse a funcionalidade.

Em experimentos, o TactStyle demonstrou melhorias significativas em relação aos métodos tradicionais de estilização, gerando correlações precisas entre a imagem visual de uma textura e seu campo de altura. Isso permite a replicação de propriedades táteis diretamente de uma imagem. Um experimento psicofísico demonstrou que os usuários percebem as texturas geradas pelo TactStyle como semelhantes tanto às propriedades táteis esperadas da entrada visual quanto às características táteis da textura original, resultando em uma experiência tátil e visual unificada.

O TactStyle utiliza um método preexistente, chamado " Style2Fab ", para modificar os canais de cor do modelo de acordo com o estilo visual da imagem de entrada. Os usuários primeiro fornecem uma imagem da textura desejada e, em seguida, um autocodificador variacional ajustado é usado para traduzir a imagem de entrada em um campo de altura correspondente. Esse campo de altura é então aplicado para modificar a geometria do modelo e criar as propriedades táteis.

Os módulos de estilização de cor e geometria trabalham em conjunto, estilizando as propriedades visuais e táteis do modelo 3D a partir de uma única entrada de imagem. Faruqi afirma que a principal inovação está no módulo de estilização de geometria, que utiliza um modelo de difusão aprimorado para gerar campos de altura a partir de imagens de textura — algo que as estruturas de estilização anteriores não reproduziam com precisão.

Olhando para o futuro, Faruqi afirma que a equipe pretende estender o TactStyle para gerar novos modelos 3D usando IA generativa com texturas incorporadas. Isso requer explorar exatamente o tipo de pipeline necessário para replicar tanto a forma quanto a função dos modelos 3D que estão sendo fabricados. Eles também planejam investigar "descompassos visuo-táteis" para criar novas experiências com materiais que desafiem as expectativas convencionais, como algo que parece ser feito de mármore, mas dá a sensação de ser feito de madeira.

Faruqi e Mueller foram coautores do novo artigo junto com os alunos de doutorado Maxine Perroni-Scharf e Yunyi Zhu, o aluno visitante de graduação Jaskaran Singh Walia, o aluno visitante de mestrado Shuyue Feng e o professor assistente Donald Degraen do Human Interface Technology (HIT) Lab NZ na Nova Zelândia.